若泽大数据 www.ruozedata.com

ruozedata


  • 主页

  • 归档

  • 分类

  • 标签

  • 发展历史

  • Suche

Spark on YARN-Cluster和YARN-Client的区别

Veröffentlicht am 2018-05-12 | Bearbeitet am 2019-06-01 | in Spark Other | Aufrufe:
一. YARN-Cluster和YARN-Client的区别


(1)SparkContext初始化不同,这也导致了Driver所在位置的不同,YarnCluster的Driver是在集群的某一台NM上,但是Yarn-Client就是在driver所在的机器上;
(2)而Driver会和Executors进行通信,这也导致了Yarn_cluster在提交App之后可以关闭Client,而Yarn-Client不可以;
(3)最后再来说应用场景,Yarn-Cluster适合生产环境,Yarn-Client适合交互和调试。

二. yarn client 模式

yarn-client 模式的话 ,把 客户端关掉的话 ,是不能提交任务的 。

三.yarn cluster 模式

yarn-cluster 模式的话, client 关闭是可以提交任务的 ,

总结:

1.spark-shell/spark-sql 只支持 yarn-client模式;
2.spark-submit对于两种模式都支持。

ruozedata WeChat Bezahlung
# spark # 高级 # 架构
生产改造Spark1.6源代码,create table语法支持Oracle列表分区
大数据之实时数据源同步中间件--生产上Canal与Maxwell颠峰对决
  • Inhaltsverzeichnis
  • Übersicht

ruozedata

若泽数据优秀博客汇总
155 Artikel
31 Kategorien
74 schlagwörter
RSS
GitHub B站学习视频 腾讯课堂学习视频 官网
  1. 1. 一. YARN-Cluster和YARN-Client的区别
  2. 2. 二. yarn client 模式
  3. 3. 三.yarn cluster 模式
  4. 4. 总结:
|
若泽数据
|